下载oracle1.实现功能oracle11G--->flinksql---->mysql2.版本组件版本flinkflink-1.14.5-bin-scala_2.12.tgzflinkcdcflink-sql-connector-oracle-cdc-2.2.1.jaroracleoracle11G3.docker安装oracle11G3.1拉去oracle11G镜像dockerpullregistry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g3.2查看镜像[root@basenode~]#dockerimagesREPOSITORYTAGIM
文章目录简介概述作用特性数据存储、计算引擎插件化实时流批一体数据表演化（TableEvolution）模式演化（SchemaEvolution）分区演化（PartitionEvolution）列顺序演化（SortOrderEvolution）隐藏分区（HiddenPartition）镜像数据查询（TimeTravel）支持事务（ACID）基于乐观锁的并发支持文件级数据剪裁其他数据湖框架的对比存储结构数据文件datafiles表快照Snapshot清单列表Manifestlist清单文件Manifestfile与Hive集成环境准备创建和管理Catalog默认使用HiveCatalog指定Cat
目录一、设置空闲状态保留时间二、开启MiniBatch三、开启LocalGlobal四、开启SplitDistinct五、多维DISTINCT使用Filter六、设置参数总结FlinkSQL官网配置参数：https://ci.apache.org/projects/flink/flink-docs-release-1.13/dev/table/config.html一、设置空闲状态保留时间FlinkSQL新手有可能犯的错误，其中之一就是忘记设置空闲状态保留时间导致状态爆炸。列举两个场景：➢FlinkSQL的regularjoin（inner、left、right），左右表的数据都会一直保存在状
环境版本：hadoop-3.1.0hive-3.1.2flink-1.13.2一、开发Maven引入依赖项：org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version}${flink.version}org.apache.flinkflink-table-planner-blink_${scala.binary.version}${flink.version}org.apache.flinkflink-table-api-java-bridge_2.1
环境版本：hadoop-3.1.0hive-3.1.2flink-1.13.2一、开发Maven引入依赖项：org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version}${flink.version}org.apache.flinkflink-table-planner-blink_${scala.binary.version}${flink.version}org.apache.flinkflink-table-api-java-bridge_2.1
目录一、时间语义1.1事件时间1.1.1在创建表的DDL中定义1.1.2 在数据流转换为表时定义1.2 处理时间 1.2.1在创建表的DDL中定义二、窗口 2.1分组窗口(老版本,已经弃用,未来的版本中可能会删除)2.2 窗口表值函数(WindowingTVFs,新版本,从1.13起)2.2.1滚动窗口(TUMBLE)2.2.2 滑动窗口(HOP)2.2.3累积窗口(ACCUMULATE) 三、聚合 3.1分组聚合3.2 窗口聚合3.3开窗聚合(Over)3.4TopN3.4.1普通TopN3.4.2窗口TopN 一、时间语义 基于时间的操作（比如时间窗口），需要定义相关的时间语
1flinkSQL窗口概述1.1窗口定义:可理解为时间轴，可将无界流切分成有界流1.2窗口分类：TimeWindow：通过时间切割窗口，但是不知道窗口有多少数据滑动窗口滚动窗口会话窗口CountWindow：按照数据量来切割窗口滑动窗口滚动窗口会话窗口自定义窗口1.3TimeWindow分类滚动窗口：有固定的窗口长度往前进行滚动，数据不重复计算滑动窗口：由固定的窗口长度和滑动间隔组成，数据可以重复会话窗口：由一系列事件指定事件长度间隙组成，类比wed应用的sessiongroupwindows键控window：keyvalue非键控window2flinkSQL窗口使用2.1窗口函数类型fli
Flink部署阶段基础配置核心模块版本选择配置nfs（简单代替hdfs）nfs服务器端配置nfs客服端配置注意点:如何开机自动挂载nfs目录（解决注意点：2）配置Flinklib中的jar包flink-conf.yamlworkersmasters配置Zookeeper其它问题汇总解决flink启动后无法正常关闭运行阶段sql-client.shFlinkSql表主键执行sql脚本，使用下面这个命令简要cdc->jdbc流程状态与容错savepoint/checkpoint的使用Watermark在FlinkSql中的使用窗口函数FlinkSQL常见问题（版本：1.15.3）坑非常多流程:Fl
一、概述Dinky是一个开箱即用的一站式实时计算平台以ApacheFlink为基础，连接OLAP和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。本文以此为FlinkSQL可视化工具。FlinkSQL使得使用标准SQL开发流式应用变得简单，免去代码开发。FlinkCDC本文使用MySQLCDC连接器允许从MySQL数据库读取快照数据和增量数据。环境及主要软件版本说明kafka_2.12-3.4.0.tgzflink-1.14.6-bin-scala_2.12.tgzflink-sql-connector-mysql-cdc-2.3.0.jarflink-sql-connector-ela
为自己记录一下flinksql消费kafkajson数据并写入doris的完整案例用完发现，flinksql是真的香。虽然尽量追求完整，但是从kafka造数据开始写，过于累赘因此省略。正文开始。单表kafka原始数据{"id":1,"name":"nick","age":7,"address":"shanghai"}原始数据形式flinksql连接准备连接sqlpublicstaticStringkafkaTablePerson="CREATETABLEperson(\n"+"idINT,\n"+"nameSTRING,\n"+"ageINT,\n"+"addressSTRING\n"+")W
